#Bayesian Optimization - AI Papers Daily

No-Regret Bayesian Optimization with Finite-Library Input-Warped Kernels

有限库输入扭曲核的无遗憾贝叶斯优化

🧭 贝叶斯优化 · 输入扭曲核

AI Sweden

用有限库光滑输入扭曲自适应 GP-UCB 的核几何，在不牺牲收敛保证下提升黑盒优化样本效率

📌 工作参考价值（4 点）

在电商/广告模型的超参调优（如 learning rate、embedding size、正则系数）中，很多参数本质是对数或幂律敏感，手动 log 缩放经验性强且不完整；可构造包含 identity、log、logit、power transform 的有限扭曲库，让 BO 根据历史观测自动选择扭曲，代替人工缩放。
对搜索/推荐系统的在线实验或仿真实验设计，若目标函数存在局部峰值或置信陷阱，直接使用 GP-UCB 可能过早收敛；FLIWBO-UCB 的输入扭曲库可让其逃逸陷阱，且保留 no-regret 保证，适合预算极低的黑箱评估场景。
在多智能体系统（如智能客服、广告竞价 Agent 协作）需调节多个维度设计参数且每次评估昂贵时，该方法在 20 维噪声评估下可行，可作为 Agent 系统超参调优的实用 BO 组件。
工程实现上，扭曲库的选择规则可以是任何历史相关规则（如 UCB 或 EI），这给线上系统留出灵活空间；注意库大小带来的 regret 代价为 √Nε，库不宜过大，可在调优前根据参数先验缩小候选扭曲。

Other | 2026-09-02 | stat.ML | score 6/10

Large Discovery Models: Empirically-grounded Model-Based Open-Ended Search

大型发现模型：基于实证的模型驱动开放式搜索

🧭 LLM + 贝叶斯代理模型开放式搜索

University College London · The Hong Kong University of Science and Technology (GZ) · Institute of Automation, CAS · Jilin University · AI Lab, The Yangtze River Delta

耦合 LLM 生成与贝叶斯非参代理模型，用不确定性值引导候选生成与筛选，实现开放式搜索性能大幅提升

📌 工作参考价值（4 点）

借鉴「LLM 生成 + 非参代理模型」的架构：在电商搜索/推荐里，可让 LLM 生成候选商品描述、广告创意、Query 改写等，同时训练一个轻量 Bayesian surrogate（如 GP/随机森林）预测效果并输出不确定性，不依赖 LLM 自评/概率作为可靠打分。
用 uncertainty-aware value 做候选筛选：例如生成多个广告文案或推荐理由时，按 surrogate 预测的 CTR/CVR 减去不确定性惩罚选择，可平衡探索与利用，降低对冷启动或分布外候选的误判。
持续更新 discovery memory 与 surrogate：每个线上实验反馈（点击、转化）实时更新代理模型和记忆池，使候选生成越来越符合业务目标；类似在线贝叶斯优化，适合迭代优化推荐策略或创意素材。
注意资源：LLM 生成多个候选成本可控，但每次实验反馈更新 surrogate 需要在线训练或增量更新方案；可参考论文中非参模型的选择，探索轻量实现。

Other | 2026-08-15 | HF Daily | score 7/10

LLM Bayesian Optimization Open-ended Search Surrogate Model Uncertainty Scientific Discovery